ยศ เทพหัสดิน ณ อยุธยา เกิดเมื่อวันที่ 15 พฤศจิกายน พ.ศ. 2460 ในราชสกุลเทพหัสดิน เข้ารับการศึกษาชั้นประถมศึกษาที่โรงเรียนอนุบาลวัดปรินายก จากนั้นไปเรียนต่อชั้นมัธยมศึกษาที่โรงเรียนวัดราชาธิวาส และโรงเรียนราชบุรีวิทยาลัย (วิทยาลัยครูอาชีวศึกษา) จากนั้นได้ประกอบอาชีพเป็นครู แล้วจึงสอบเข้าศึกษาต่อที่โรงเรียนนายร้อยพระจุลจอมเกล้า

พล.อ.ยศ สมรสกับ คุณหญิง เพลิน เทพหัสดิน ณ อยุธยา มีบุตร 3 คน คือ พลเอก วิชญ์ เทพหัสดิน ณ อยุธยา อดีตประธานคณะที่ปรึกษากองทัพบก นางสาวณัฐธยาน์ เทพหัสดิน ณ อยุธยา และ นางสาวสิริยส เทพหัสดิน ณ อยุธยา